Unter dem Motto „Fit für die Zukunft: Praktische Lösungen für die industrielle Automation“ fand dieses Jahr die 20. Konferenz für Angewandte Automatisierungstechnik in Lehre und Entwicklung an Hochschulen (AALE) in Bielefeld statt. Hier stellten auch zwei wissenschaftliche Mitarbeiter aus der Arbeitsgruppe Smart Production Systems ihre jüngsten Forschungsergebnisse aus dem Bereich des Reinforcement Learnings (RL) vor.

Abishek Sunilkumar gab in seiner Studie zusammen mit Fouad Bahrpeyma und Prof. Dr. Dirk Reichelt einen Überblick über mögliche Anwendungsgebiete des Reinforcement Learnings in Hinblick auf die Roboterprogrammierung. Die Autoren strichen dabei besonders den faszinierenden Aspekt hervor, dass RL die Fähigkeit besitzt, sowohl als Low-Level-Controller als auch als High-Level-Entscheidungswerkzeug zu fungieren. Ein Beispiel hierfür ist die Manipulation des Roboters, deren Aufgabe es ist, sich selbst durch eine Umgebung mit unregelmäßigen und wiederkehrenden Hindernissen zu führen. In diesem Szenario können Low-Level-Controller die Gelenkwinkel der Roboterarme auslesen und mithilfe der Joint-Trajectory-Controller eine gleichmäßige Bewegung ausführen. Auf einer höheren Ebene kann RL auch zur Definition komplexer Pfade verwendet werden, um Hindernisse und Selbstkollisionen zu vermeiden. Zwar können viele dieser Herausforderungen auch mit klassischen Lösungsansätzen angegangen werden, doch ist die Entwicklung solcher Lösungen sehr zeit- und arbeitsaufwändig, was diesen Prozess recht teuer macht. Ihr Beitrag greift unter anderen auch diese Aspekte auf und mündet folglich in einer gezielten vergleichenden Analyse zwischen konventionellen Lösungsansätzen und RL-basierten Robotik Methoden.
David Heik beschreibt in seiner Studie, welche zusammen mit Fouad Bahrpeyma und Prof. Dr. Dirk Reichelt verfasst wurde, den Einsatz von Einzel- sowie Multi-Agenten RL, zur Lösung des Problems der dynamischen Planung in Form eines intelligenten Ressourcenzuteilungsproblems am Beispiel der Industrie 4.0 Modellfabrik. Um die Einstiegshürden für andere Forscher zu senken und die Reproduzierbarkeit zu gewährleisten, wurde das Verhalten der zu Lehr- und Forschungszwecken eingerichtete Modellfabrik abstrahiert und in eine Simulationsumgebung überführt und der Forschungsgemeinschaft zur Verfügung gestellt. Das Ziel der Arbeit bestand darin, für die vorgestellte Simulationsumgebung einen Algorithmus hervorzubringen, welcher befähigt ist, die Gesamtproduktionszeit für gegebene Aufträge zu reduzieren. Dabei werden in der veröffentlichten Arbeit verschiedene Konzepte und Architekturen zur Problemlösung gegenübergestellt und die jeweils resultierenden Zuweisungsstrategien zu Evaluierungszwecken mit veränderten Umgebungsbedingungen und unvorhergesehenen Ereignissen (unterbrochene Lieferketten, Maschinenausfälle oder Abwesenheit von Mitarbeitern) konfrontiert, um hohes Maß an Flexibilität und Anpassungsfähigkeit des Agenten zu garantieren. Die durchgeführten Experimente veranschaulichen in Hinblick auf die Leistungsfähigkeit, dass RL, insbesondere im Multi-Agenten-Setting unter Verwendung des Proximal Policy Optimization (PPO)-Algorithmus, in der Lage ist, konventionelle heuristische Methoden zu übertreffen, wenn das komplexe Problem der Produktionsplanung unter Unsicherheit betrachtet wird.

Diese und weitere 39 Beiträge wurden auf der diesjährigen Konferenz in Bielefeld vorgestellt, wodurch ein disziplinenübergreifender, lebendiger Austausch zustande kam. Wir freuen uns nicht nur über das über das positive Feedback zu unserem Arbeiten, sondern sind dankbar für die zahlreichen neue Impulse und Einblicke in Forschungsergebnisse im Bereich der angewandten Automatisierungstechnik in Lehre und Entwicklung. 

Wir freuen uns darauf im März 2025 die AALE Konferenz an der HTWD ausrichten zu dürfen. Dabei wird uns das Transfernetzwerk Saxony5 unterstützen.